Q1:PD分离场景Router会有区别吗?是有两个Router还是?怎么管理的

是两个router,具体分发在prefill节点的prefill_req_frozen_tokens_and_put_to_kvmove_taskqueue

Q2:Info Queue和Mem Queue传输什么数据

Q3:shm_req_manager是做什么的

Q4:decode_infer_rpyc.py的dp_world_size是什么?为什么说多DP单卡。

是不是world size是指dp内部

decode节点的decode

results matching ""

    No results matching ""